factor 8.0
Unrecognized keys in `rope_scaling` for 'rope_type'='linear': {'type'}

Loading checkpoint shards:   0%|          | 0/4 [00:00<?, ?it/s]
Loading checkpoint shards:  50%|█████     | 2/4 [00:00<00:00, 13.25it/s]
Loading checkpoint shards: 100%|██████████| 4/4 [00:00<00:00, 14.56it/s]
Loading checkpoint shards: 100%|██████████| 4/4 [00:00<00:00, 14.34it/s]
Starting ...
Ready.
Quantizing 16bit 1/32..
+------------------+--------------+------------+-----------+-------+
|       name       | weight_error | fp_inp_SNR | q_inp_SNR | time  |
+==================+==============+============+===========+=======+
| k_proj.V         | 0.000        | -          | -         | 1.852 |
| v_proj.V         | 0.000        | -          | -         | 1.127 |
| q_proj.V         | 0.000        | -          | -         | 1.126 |
| k_proj.U         | 0.000        | -          | -         | 0.409 |
| v_proj.U         | 0.000        | -          | -         | 0.036 |
| q_proj.U         | 0.000        | -          | -         | 0.037 |
| o_proj.V         | 0.000        | -          | -         | 1.703 |
| o_proj.U         | 0.000        | -          | -         | 0.488 |
| up_proj.V        | 0.000        | -          | -         | 1.710 |
| gate_proj.V      | 0.000        | -          | -         | 1.124 |
| up_proj.U        | 0.000        | -          | -         | 0.446 |
| gate_proj.U      | 0.000        | -          | -         | 0.036 |
| down_proj.V      | 0.000        | -          | -         | 5.694 |
| down_proj.U      | 0.000        | -          | -         | 0.495 |
+------------------+--------------+------------+-----------+-------+


Quantizing 16bit 2/32..
+------------------+--------------+------------+-----------+-------+
|       name       | weight_error | fp_inp_SNR | q_inp_SNR | time  |
+==================+==============+============+===========+=======+
| k_proj.V         | 0.000        | -          | -         | 1.729 |
| v_proj.V         | 0.000        | -          | -         | 1.126 |
| q_proj.V         | 0.000        | -          | -         | 1.128 |
| k_proj.U         | 0.000        | -          | -         | 0.410 |
| v_proj.U         | 0.000        | -          | -         | 0.036 |
| q_proj.U         | 0.000        | -          | -         | 0.036 |
| o_proj.V         | 0.000        | -          | -         | 1.694 |
| o_proj.U         | 0.000        | -          | -         | 0.492 |
| up_proj.V        | 0.000        | -          | -         | 1.708 |
| gate_proj.V      | 0.000        | -          | -         | 1.125 |
| up_proj.U        | 0.000        | -          | -         | 0.448 |
| gate_proj.U      | 0.000        | -          | -         | 0.037 |
| down_proj.V      | 0.000        | -          | -         | 5.701 |
| down_proj.U      | 0.000        | -          | -         | 0.498 |
+------------------+--------------+------------+-----------+-------+


Quantizing 16bit 3/32..
+------------------+--------------+------------+-----------+-------+
|       name       | weight_error | fp_inp_SNR | q_inp_SNR | time  |
+==================+==============+============+===========+=======+
| k_proj.V         | 0.000        | -          | -         | 1.733 |
| v_proj.V         | 0.000        | -          | -         | 1.123 |
| q_proj.V         | 0.000        | -          | -         | 1.126 |
| k_proj.U         | 0.000        | -          | -         | 0.412 |
| v_proj.U         | 0.000        | -          | -         | 0.036 |
| q_proj.U         | 0.000        | -          | -         | 0.036 |
| o_proj.V         | 0.000        | -          | -         | 1.698 |
| o_proj.U         | 0.000        | -          | -         | 0.494 |
| up_proj.V        | 0.000        | -          | -         | 1.714 |
| gate_proj.V      | 0.000        | -          | -         | 1.124 |
| up_proj.U        | 0.000        | -          | -         | 0.449 |
| gate_proj.U      | 0.000        | -          | -         | 0.036 |
| down_proj.V      | 0.000        | -          | -         | 5.703 |
| down_proj.U      | 0.000        | -          | -         | 0.497 |
+------------------+--------------+------------+-----------+-------+


Quantizing 16bit 4/32..
+------------------+--------------+------------+-----------+-------+
|       name       | weight_error | fp_inp_SNR | q_inp_SNR | time  |
+==================+==============+============+===========+=======+
| k_proj.V         | 0.000        | -          | -         | 1.730 |
| v_proj.V         | 0.000        | -          | -         | 1.126 |
| q_proj.V         | 0.000        | -          | -         | 1.126 |
| k_proj.U         | 0.000        | -          | -         | 0.411 |
| v_proj.U         | 0.000        | -          | -         | 0.038 |
| q_proj.U         | 0.000        | -          | -         | 0.045 |
| o_proj.V         | 0.000        | -          | -         | 1.695 |
| o_proj.U         | 0.000        | -          | -         | 0.493 |
| up_proj.V        | 0.000        | -          | -         | 1.712 |
| gate_proj.V      | 0.000        | -          | -         | 1.126 |
| up_proj.U        | 0.000        | -          | -         | 0.448 |
| gate_proj.U      | 0.000        | -          | -         | 0.036 |
| down_proj.V      | 0.000        | -          | -         | 5.703 |
| down_proj.U      | 0.000        | -          | -         | 0.497 |
+------------------+--------------+------------+-----------+-------+


Quantizing 16bit 5/32..
+------------------+--------------+------------+-----------+-------+
|       name       | weight_error | fp_inp_SNR | q_inp_SNR | time  |
+==================+==============+============+===========+=======+
| k_proj.V         | 0.000        | -          | -         | 1.742 |
| v_proj.V         | 0.000        | -          | -         | 1.124 |
| q_proj.V         | 0.000        | -          | -         | 1.126 |
| k_proj.U         | 0.000        | -          | -         | 0.411 |
| v_proj.U         | 0.000        | -          | -         | 0.036 |
| q_proj.U         | 0.000        | -          | -         | 0.036 |
| o_proj.V         | 0.000        | -          | -         | 1.696 |
| o_proj.U         | 0.000        | -          | -         | 0.493 |
| up_proj.V        | 0.000        | -          | -         | 1.710 |
| gate_proj.V      | 0.000        | -          | -         | 1.128 |
| up_proj.U        | 0.000        | -          | -         | 0.449 |
| gate_proj.U      | 0.000        | -          | -         | 0.037 |
| down_proj.V      | 0.000        | -          | -         | 5.703 |
| down_proj.U      | 0.000        | -          | -         | 0.496 |
+------------------+--------------+------------+-----------+-------+


Quantizing 16bit 6/32..
+------------------+--------------+------------+-----------+-------+
|       name       | weight_error | fp_inp_SNR | q_inp_SNR | time  |
+==================+==============+============+===========+=======+
| k_proj.V         | 0.000        | -          | -         | 1.731 |
| v_proj.V         | 0.000        | -          | -         | 1.124 |
| q_proj.V         | 0.000        | -          | -         | 1.129 |
| k_proj.U         | 0.000        | -          | -         | 0.410 |
| v_proj.U         | 0.000        | -          | -         | 0.036 |
| q_proj.U         | 0.000        | -          | -         | 0.036 |
| o_proj.V         | 0.000        | -          | -         | 1.698 |
| o_proj.U         | 0.000        | -          | -         | 0.492 |
| up_proj.V        | 0.000        | -          | -         | 1.712 |
| gate_proj.V      | 0.000        | -          | -         | 1.125 |
| up_proj.U        | 0.000        | -          | -         | 0.448 |
| gate_proj.U      | 0.000        | -          | -         | 0.037 |
| down_proj.V      | 0.000        | -          | -         | 5.703 |
| down_proj.U      | 0.000        | -          | -         | 0.497 |
+------------------+--------------+------------+-----------+-------+


Quantizing 16bit 7/32..
+------------------+--------------+------------+-----------+-------+
|       name       | weight_error | fp_inp_SNR | q_inp_SNR | time  |
+==================+==============+============+===========+=======+
| k_proj.V         | 0.000        | -          | -         | 1.727 |
| v_proj.V         | 0.000        | -          | -         | 1.126 |
| q_proj.V         | 0.000        | -          | -         | 1.129 |
| k_proj.U         | 0.000        | -          | -         | 0.410 |
| v_proj.U         | 0.000        | -          | -         | 0.036 |
| q_proj.U         | 0.000        | -          | -         | 0.036 |
| o_proj.V         | 0.000        | -          | -         | 1.695 |
| o_proj.U         | 0.000        | -          | -         | 0.493 |
| up_proj.V        | 0.000        | -          | -         | 1.708 |
| gate_proj.V      | 0.000        | -          | -         | 1.126 |
| up_proj.U        | 0.000        | -          | -         | 0.449 |
| gate_proj.U      | 0.000        | -          | -         | 0.036 |
| down_proj.V      | 0.000        | -          | -         | 5.695 |
| down_proj.U      | 0.000        | -          | -         | 0.497 |
+------------------+--------------+------------+-----------+-------+


Quantizing 16bit 8/32..
+------------------+--------------+------------+-----------+-------+
|       name       | weight_error | fp_inp_SNR | q_inp_SNR | time  |
+==================+==============+============+===========+=======+
| k_proj.V         | 0.000        | -          | -         | 1.729 |
| v_proj.V         | 0.000        | -          | -         | 1.124 |
| q_proj.V         | 0.000        | -          | -         | 1.125 |
| k_proj.U         | 0.000        | -          | -         | 0.410 |
| v_proj.U         | 0.000        | -          | -         | 0.036 |
| q_proj.U         | 0.000        | -          | -         | 0.036 |
| o_proj.V         | 0.000        | -          | -         | 1.695 |
| o_proj.U         | 0.000        | -          | -         | 0.493 |
| up_proj.V        | 0.000        | -          | -         | 1.713 |
| gate_proj.V      | 0.000        | -          | -         | 1.124 |
| up_proj.U        | 0.000        | -          | -         | 0.449 |
| gate_proj.U      | 0.000        | -          | -         | 0.037 |
| down_proj.V      | 0.000        | -          | -         | 5.704 |
| down_proj.U      | 0.000        | -          | -         | 0.497 |
+------------------+--------------+------------+-----------+-------+


Quantizing 16bit 9/32..
+------------------+--------------+------------+-----------+-------+
|       name       | weight_error | fp_inp_SNR | q_inp_SNR | time  |
+==================+==============+============+===========+=======+
| k_proj.V         | 0.000        | -          | -         | 1.730 |
| v_proj.V         | 0.000        | -          | -         | 1.125 |
| q_proj.V         | 0.000        | -          | -         | 1.126 |
| k_proj.U         | 0.000        | -          | -         | 0.411 |
| v_proj.U         | 0.000        | -          | -         | 0.036 |
| q_proj.U         | 0.000        | -          | -         | 0.036 |
| o_proj.V         | 0.000        | -          | -         | 1.693 |
| o_proj.U         | 0.000        | -          | -         | 0.492 |
| up_proj.V        | 0.000        | -          | -         | 1.711 |
| gate_proj.V      | 0.000        | -          | -         | 1.126 |
| up_proj.U        | 0.000        | -          | -         | 0.448 |
| gate_proj.U      | 0.000        | -          | -         | 0.037 |
| down_proj.V      | 0.000        | -          | -         | 5.695 |
| down_proj.U      | 0.000        | -          | -         | 0.497 |
+------------------+--------------+------------+-----------+-------+


Quantizing 16bit 10/32..
+------------------+--------------+------------+-----------+-------+
|       name       | weight_error | fp_inp_SNR | q_inp_SNR | time  |
+==================+==============+============+===========+=======+
| k_proj.V         | 0.000        | -          | -         | 1.727 |
| v_proj.V         | 0.000        | -          | -         | 1.125 |
| q_proj.V         | 0.000        | -          | -         | 1.127 |
| k_proj.U         | 0.000        | -          | -         | 0.410 |
| v_proj.U         | 0.000        | -          | -         | 0.036 |
| q_proj.U         | 0.000        | -          | -         | 0.036 |
| o_proj.V         | 0.000        | -          | -         | 1.695 |
| o_proj.U         | 0.000        | -          | -         | 0.493 |
| up_proj.V        | 0.000        | -          | -         | 1.712 |
| gate_proj.V      | 0.000        | -          | -         | 1.125 |
| up_proj.U        | 0.000        | -          | -         | 0.448 |
| gate_proj.U      | 0.000        | -          | -         | 0.037 |
| down_proj.V      | 0.000        | -          | -         | 5.695 |
| down_proj.U      | 0.000        | -          | -         | 0.497 |
+------------------+--------------+------------+-----------+-------+


Quantizing 16bit 11/32..
+------------------+--------------+------------+-----------+-------+
|       name       | weight_error | fp_inp_SNR | q_inp_SNR | time  |
+==================+==============+============+===========+=======+
| k_proj.V         | 0.000        | -          | -         | 1.730 |
| v_proj.V         | 0.000        | -          | -         | 1.126 |
| q_proj.V         | 0.000        | -          | -         | 1.125 |
| k_proj.U         | 0.000        | -          | -         | 0.412 |
| v_proj.U         | 0.000        | -          | -         | 0.036 |
| q_proj.U         | 0.000        | -          | -         | 0.036 |
| o_proj.V         | 0.000        | -          | -         | 1.693 |
| o_proj.U         | 0.000        | -          | -         | 0.492 |
| up_proj.V        | 0.000        | -          | -         | 1.714 |
| gate_proj.V      | 0.000        | -          | -         | 1.126 |
| up_proj.U        | 0.000        | -          | -         | 0.448 |
| gate_proj.U      | 0.000        | -          | -         | 0.037 |
| down_proj.V      | 0.000        | -          | -         | 5.703 |
| down_proj.U      | 0.000        | -          | -         | 0.497 |
+------------------+--------------+------------+-----------+-------+


Quantizing 16bit 12/32..
+------------------+--------------+------------+-----------+-------+
|       name       | weight_error | fp_inp_SNR | q_inp_SNR | time  |
+==================+==============+============+===========+=======+
| k_proj.V         | 0.000        | -          | -         | 1.729 |
| v_proj.V         | 0.000        | -          | -         | 1.125 |
| q_proj.V         | 0.000        | -          | -         | 1.125 |
| k_proj.U         | 0.000        | -          | -         | 0.416 |
| v_proj.U         | 0.000        | -          | -         | 0.036 |
| q_proj.U         | 0.000        | -          | -         | 0.036 |
| o_proj.V         | 0.000        | -          | -         | 1.694 |
| o_proj.U         | 0.000        | -          | -         | 0.492 |
| up_proj.V        | 0.000        | -          | -         | 1.710 |
| gate_proj.V      | 0.000        | -          | -         | 1.124 |
| up_proj.U        | 0.000        | -          | -         | 0.448 |
| gate_proj.U      | 0.000        | -          | -         | 0.036 |
| down_proj.V      | 0.000        | -          | -         | 5.700 |
| down_proj.U      | 0.000        | -          | -         | 0.497 |
+------------------+--------------+------------+-----------+-------+


Quantizing 16bit 13/32..
+------------------+--------------+------------+-----------+-------+
|       name       | weight_error | fp_inp_SNR | q_inp_SNR | time  |
+==================+==============+============+===========+=======+
| k_proj.V         | 0.000        | -          | -         | 1.731 |
| v_proj.V         | 0.000        | -          | -         | 1.125 |
| q_proj.V         | 0.000        | -          | -         | 1.127 |
| k_proj.U         | 0.000        | -          | -         | 0.411 |
| v_proj.U         | 0.000        | -          | -         | 0.036 |
| q_proj.U         | 0.000        | -          | -         | 0.036 |
| o_proj.V         | 0.000        | -          | -         | 1.696 |
| o_proj.U         | 0.000        | -          | -         | 0.492 |
| up_proj.V        | 0.000        | -          | -         | 1.713 |
| gate_proj.V      | 0.000        | -          | -         | 1.125 |
| up_proj.U        | 0.000        | -          | -         | 0.448 |
| gate_proj.U      | 0.000        | -          | -         | 0.037 |
| down_proj.V      | 0.000        | -          | -         | 5.703 |
| down_proj.U      | 0.000        | -          | -         | 0.497 |
+------------------+--------------+------------+-----------+-------+


Quantizing 16bit 14/32..
+------------------+--------------+------------+-----------+-------+
|       name       | weight_error | fp_inp_SNR | q_inp_SNR | time  |
+==================+==============+============+===========+=======+
| k_proj.V         | 0.000        | -          | -         | 1.729 |
| v_proj.V         | 0.000        | -          | -         | 1.126 |
| q_proj.V         | 0.000        | -          | -         | 1.128 |
| k_proj.U         | 0.000        | -          | -         | 0.411 |
| v_proj.U         | 0.000        | -          | -         | 0.036 |
| q_proj.U         | 0.000        | -          | -         | 0.036 |
| o_proj.V         | 0.000        | -          | -         | 1.693 |
| o_proj.U         | 0.000        | -          | -         | 0.493 |
| up_proj.V        | 0.000        | -          | -         | 1.709 |
| gate_proj.V      | 0.000        | -          | -         | 1.123 |
| up_proj.U        | 0.000        | -          | -         | 0.448 |
| gate_proj.U      | 0.000        | -          | -         | 0.037 |
| down_proj.V      | 0.000        | -          | -         | 5.702 |
| down_proj.U      | 0.000        | -          | -         | 0.497 |
+------------------+--------------+------------+-----------+-------+


Quantizing 16bit 15/32..
+------------------+--------------+------------+-----------+-------+
|       name       | weight_error | fp_inp_SNR | q_inp_SNR | time  |
+==================+==============+============+===========+=======+
| k_proj.V         | 0.000        | -          | -         | 1.729 |
| v_proj.V         | 0.000        | -          | -         | 1.126 |
| q_proj.V         | 0.000        | -          | -         | 1.126 |
| k_proj.U         | 0.000        | -          | -         | 0.410 |
| v_proj.U         | 0.000        | -          | -         | 0.036 |
| q_proj.U         | 0.000        | -          | -         | 0.036 |
| o_proj.V         | 0.000        | -          | -         | 1.697 |
| o_proj.U         | 0.000        | -          | -         | 0.493 |
| up_proj.V        | 0.000        | -          | -         | 1.713 |
| gate_proj.V      | 0.000        | -          | -         | 1.128 |
| up_proj.U        | 0.000        | -          | -         | 0.448 |
| gate_proj.U      | 0.000        | -          | -         | 0.037 |
| down_proj.V      | 0.000        | -          | -         | 5.700 |
| down_proj.U      | 0.000        | -          | -         | 0.497 |
+------------------+--------------+------------+-----------+-------+


Quantizing 16bit 16/32..
+------------------+--------------+------------+-----------+-------+
|       name       | weight_error | fp_inp_SNR | q_inp_SNR | time  |
+==================+==============+============+===========+=======+
| k_proj.V         | 0.000        | -          | -         | 1.731 |
| v_proj.V         | 0.000        | -          | -         | 1.126 |
| q_proj.V         | 0.000        | -          | -         | 1.124 |
| k_proj.U         | 0.000        | -          | -         | 0.411 |
| v_proj.U         | 0.000        | -          | -         | 0.036 |
| q_proj.U         | 0.000        | -          | -         | 0.036 |
| o_proj.V         | 0.000        | -          | -         | 1.696 |
| o_proj.U         | 0.000        | -          | -         | 0.492 |
| up_proj.V        | 0.000        | -          | -         | 1.710 |
| gate_proj.V      | 0.000        | -          | -         | 1.128 |
| up_proj.U        | 0.000        | -          | -         | 0.449 |
| gate_proj.U      | 0.000        | -          | -         | 0.037 |
| down_proj.V      | 0.000        | -          | -         | 5.703 |
| down_proj.U      | 0.000        | -          | -         | 0.498 |
+------------------+--------------+------------+-----------+-------+


Quantizing 16bit 17/32..
+------------------+--------------+------------+-----------+-------+
|       name       | weight_error | fp_inp_SNR | q_inp_SNR | time  |
+==================+==============+============+===========+=======+
| k_proj.V         | 0.000        | -          | -         | 1.731 |
| v_proj.V         | 0.000        | -          | -         | 1.124 |
| q_proj.V         | 0.000        | -          | -         | 1.123 |
| k_proj.U         | 0.000        | -          | -         | 0.411 |
| v_proj.U         | 0.000        | -          | -         | 0.036 |
| q_proj.U         | 0.000        | -          | -         | 0.036 |
| o_proj.V         | 0.000        | -          | -         | 1.695 |
| o_proj.U         | 0.000        | -          | -         | 0.493 |
| up_proj.V        | 0.000        | -          | -         | 1.711 |
| gate_proj.V      | 0.000        | -          | -         | 1.128 |
| up_proj.U        | 0.000        | -          | -         | 0.448 |
| gate_proj.U      | 0.000        | -          | -         | 0.037 |
| down_proj.V      | 0.000        | -          | -         | 5.705 |
| down_proj.U      | 0.000        | -          | -         | 0.497 |
+------------------+--------------+------------+-----------+-------+


Quantizing 16bit 18/32..
+------------------+--------------+------------+-----------+-------+
|       name       | weight_error | fp_inp_SNR | q_inp_SNR | time  |
+==================+==============+============+===========+=======+
| k_proj.V         | 0.000        | -          | -         | 1.729 |
| v_proj.V         | 0.000        | -          | -         | 1.125 |
| q_proj.V         | 0.000        | -          | -         | 1.131 |
| k_proj.U         | 0.000        | -          | -         | 0.411 |
| v_proj.U         | 0.000        | -          | -         | 0.036 |
| q_proj.U         | 0.000        | -          | -         | 0.036 |
| o_proj.V         | 0.000        | -          | -         | 1.698 |
| o_proj.U         | 0.000        | -          | -         | 0.493 |
| up_proj.V        | 0.000        | -          | -         | 1.712 |
| gate_proj.V      | 0.000        | -          | -         | 1.127 |
| up_proj.U        | 0.000        | -          | -         | 0.448 |
| gate_proj.U      | 0.000        | -          | -         | 0.037 |
| down_proj.V      | 0.000        | -          | -         | 5.703 |
| down_proj.U      | 0.000        | -          | -         | 0.497 |
+------------------+--------------+------------+-----------+-------+


Quantizing 16bit 19/32..
+------------------+--------------+------------+-----------+-------+
|       name       | weight_error | fp_inp_SNR | q_inp_SNR | time  |
+==================+==============+============+===========+=======+
| k_proj.V         | 0.000        | -          | -         | 1.732 |
| v_proj.V         | 0.000        | -          | -         | 1.125 |
| q_proj.V         | 0.000        | -          | -         | 1.126 |
| k_proj.U         | 0.000        | -          | -         | 0.411 |
| v_proj.U         | 0.000        | -          | -         | 0.036 |
| q_proj.U         | 0.000        | -          | -         | 0.036 |
| o_proj.V         | 0.000        | -          | -         | 1.696 |
| o_proj.U         | 0.000        | -          | -         | 0.493 |
| up_proj.V        | 0.000        | -          | -         | 1.712 |
| gate_proj.V      | 0.000        | -          | -         | 1.127 |
| up_proj.U        | 0.000        | -          | -         | 0.449 |
| gate_proj.U      | 0.000        | -          | -         | 0.037 |
| down_proj.V      | 0.000        | -          | -         | 5.706 |
| down_proj.U      | 0.000        | -          | -         | 0.497 |
+------------------+--------------+------------+-----------+-------+


Quantizing 16bit 20/32..
+------------------+--------------+------------+-----------+-------+
|       name       | weight_error | fp_inp_SNR | q_inp_SNR | time  |
+==================+==============+============+===========+=======+
| k_proj.V         | 0.000        | -          | -         | 1.732 |
| v_proj.V         | 0.000        | -          | -         | 1.125 |
| q_proj.V         | 0.000        | -          | -         | 1.128 |
| k_proj.U         | 0.000        | -          | -         | 0.411 |
| v_proj.U         | 0.000        | -          | -         | 0.036 |
| q_proj.U         | 0.000        | -          | -         | 0.036 |
| o_proj.V         | 0.000        | -          | -         | 1.699 |
| o_proj.U         | 0.000        | -          | -         | 0.493 |
| up_proj.V        | 0.000        | -          | -         | 1.712 |
| gate_proj.V      | 0.000        | -          | -         | 1.130 |
| up_proj.U        | 0.000        | -          | -         | 0.449 |
| gate_proj.U      | 0.000        | -          | -         | 0.037 |
| down_proj.V      | 0.000        | -          | -         | 5.710 |
| down_proj.U      | 0.000        | -          | -         | 0.497 |
+------------------+--------------+------------+-----------+-------+


Quantizing 16bit 21/32..
+------------------+--------------+------------+-----------+-------+
|       name       | weight_error | fp_inp_SNR | q_inp_SNR | time  |
+==================+==============+============+===========+=======+
| k_proj.V         | 0.000        | -          | -         | 1.736 |
| v_proj.V         | 0.000        | -          | -         | 1.128 |
| q_proj.V         | 0.000        | -          | -         | 1.128 |
| k_proj.U         | 0.000        | -          | -         | 0.411 |
| v_proj.U         | 0.000        | -          | -         | 0.036 |
| q_proj.U         | 0.000        | -          | -         | 0.036 |
| o_proj.V         | 0.000        | -          | -         | 1.698 |
| o_proj.U         | 0.000        | -          | -         | 0.493 |
| up_proj.V        | 0.000        | -          | -         | 1.716 |
| gate_proj.V      | 0.000        | -          | -         | 1.127 |
| up_proj.U        | 0.000        | -          | -         | 0.449 |
| gate_proj.U      | 0.000        | -          | -         | 0.036 |
| down_proj.V      | 0.000        | -          | -         | 5.709 |
| down_proj.U      | 0.000        | -          | -         | 0.497 |
+------------------+--------------+------------+-----------+-------+


Quantizing 16bit 22/32..
+------------------+--------------+------------+-----------+-------+
|       name       | weight_error | fp_inp_SNR | q_inp_SNR | time  |
+==================+==============+============+===========+=======+
| k_proj.V         | 0.000        | -          | -         | 1.733 |
| v_proj.V         | 0.000        | -          | -         | 1.126 |
| q_proj.V         | 0.000        | -          | -         | 1.128 |
| k_proj.U         | 0.000        | -          | -         | 0.410 |
| v_proj.U         | 0.000        | -          | -         | 0.036 |
| q_proj.U         | 0.000        | -          | -         | 0.036 |
| o_proj.V         | 0.000        | -          | -         | 1.696 |
| o_proj.U         | 0.000        | -          | -         | 0.493 |
| up_proj.V        | 0.000        | -          | -         | 1.716 |
| gate_proj.V      | 0.000        | -          | -         | 1.127 |
| up_proj.U        | 0.000        | -          | -         | 0.449 |
| gate_proj.U      | 0.000        | -          | -         | 0.037 |
| down_proj.V      | 0.000        | -          | -         | 5.712 |
| down_proj.U      | 0.000        | -          | -         | 0.497 |
+------------------+--------------+------------+-----------+-------+


Quantizing 16bit 23/32..
+------------------+--------------+------------+-----------+-------+
|       name       | weight_error | fp_inp_SNR | q_inp_SNR | time  |
+==================+==============+============+===========+=======+
| k_proj.V         | 0.000        | -          | -         | 1.732 |
| v_proj.V         | 0.000        | -          | -         | 1.128 |
| q_proj.V         | 0.000        | -          | -         | 1.128 |
| k_proj.U         | 0.000        | -          | -         | 0.411 |
| v_proj.U         | 0.000        | -          | -         | 0.036 |
| q_proj.U         | 0.000        | -          | -         | 0.036 |
| o_proj.V         | 0.000        | -          | -         | 1.699 |
| o_proj.U         | 0.000        | -          | -         | 0.493 |
| up_proj.V        | 0.000        | -          | -         | 1.713 |
| gate_proj.V      | 0.000        | -          | -         | 1.129 |
| up_proj.U        | 0.000        | -          | -         | 0.449 |
| gate_proj.U      | 0.000        | -          | -         | 0.037 |
| down_proj.V      | 0.000        | -          | -         | 5.708 |
| down_proj.U      | 0.000        | -          | -         | 0.497 |
+------------------+--------------+------------+-----------+-------+


Quantizing 16bit 24/32..
+------------------+--------------+------------+-----------+-------+
|       name       | weight_error | fp_inp_SNR | q_inp_SNR | time  |
+==================+==============+============+===========+=======+
| k_proj.V         | 0.000        | -          | -         | 1.733 |
| v_proj.V         | 0.000        | -          | -         | 1.126 |
| q_proj.V         | 0.000        | -          | -         | 1.128 |
| k_proj.U         | 0.000        | -          | -         | 0.411 |
| v_proj.U         | 0.000        | -          | -         | 0.036 |
| q_proj.U         | 0.000        | -          | -         | 0.036 |
| o_proj.V         | 0.000        | -          | -         | 1.697 |
| o_proj.U         | 0.000        | -          | -         | 0.493 |
| up_proj.V        | 0.000        | -          | -         | 1.712 |
| gate_proj.V      | 0.000        | -          | -         | 1.129 |
| up_proj.U        | 0.000        | -          | -         | 0.449 |
| gate_proj.U      | 0.000        | -          | -         | 0.037 |
| down_proj.V      | 0.000        | -          | -         | 5.712 |
| down_proj.U      | 0.000        | -          | -         | 0.497 |
+------------------+--------------+------------+-----------+-------+


Quantizing 16bit 25/32..
+------------------+--------------+------------+-----------+-------+
|       name       | weight_error | fp_inp_SNR | q_inp_SNR | time  |
+==================+==============+============+===========+=======+
| k_proj.V         | 0.000        | -          | -         | 1.729 |
| v_proj.V         | 0.000        | -          | -         | 1.125 |
| q_proj.V         | 0.000        | -          | -         | 1.129 |
| k_proj.U         | 0.000        | -          | -         | 0.410 |
| v_proj.U         | 0.000        | -          | -         | 0.036 |
| q_proj.U         | 0.000        | -          | -         | 0.036 |
| o_proj.V         | 0.000        | -          | -         | 1.695 |
| o_proj.U         | 0.000        | -          | -         | 0.493 |
| up_proj.V        | 0.000        | -          | -         | 1.712 |
| gate_proj.V      | 0.000        | -          | -         | 1.125 |
| up_proj.U        | 0.000        | -          | -         | 0.449 |
| gate_proj.U      | 0.000        | -          | -         | 0.036 |
| down_proj.V      | 0.000        | -          | -         | 5.707 |
| down_proj.U      | 0.000        | -          | -         | 0.497 |
+------------------+--------------+------------+-----------+-------+


Quantizing 16bit 26/32..
+------------------+--------------+------------+-----------+-------+
|       name       | weight_error | fp_inp_SNR | q_inp_SNR | time  |
+==================+==============+============+===========+=======+
| k_proj.V         | 0.000        | -          | -         | 1.734 |
| v_proj.V         | 0.000        | -          | -         | 1.129 |
| q_proj.V         | 0.000        | -          | -         | 1.128 |
| k_proj.U         | 0.000        | -          | -         | 0.410 |
| v_proj.U         | 0.000        | -          | -         | 0.036 |
| q_proj.U         | 0.000        | -          | -         | 0.036 |
| o_proj.V         | 0.000        | -          | -         | 1.701 |
| o_proj.U         | 0.000        | -          | -         | 0.493 |
| up_proj.V        | 0.000        | -          | -         | 1.711 |
| gate_proj.V      | 0.000        | -          | -         | 1.127 |
| up_proj.U        | 0.000        | -          | -         | 0.449 |
| gate_proj.U      | 0.000        | -          | -         | 0.037 |
| down_proj.V      | 0.000        | -          | -         | 5.716 |
| down_proj.U      | 0.000        | -          | -         | 0.498 |
+------------------+--------------+------------+-----------+-------+


Quantizing 16bit 27/32..
+------------------+--------------+------------+-----------+-------+
|       name       | weight_error | fp_inp_SNR | q_inp_SNR | time  |
+==================+==============+============+===========+=======+
| k_proj.V         | 0.000        | -          | -         | 1.734 |
| v_proj.V         | 0.000        | -          | -         | 1.127 |
| q_proj.V         | 0.000        | -          | -         | 1.129 |
| k_proj.U         | 0.000        | -          | -         | 0.411 |
| v_proj.U         | 0.000        | -          | -         | 0.036 |
| q_proj.U         | 0.000        | -          | -         | 0.036 |
| o_proj.V         | 0.000        | -          | -         | 1.698 |
| o_proj.U         | 0.000        | -          | -         | 0.494 |
| up_proj.V        | 0.000        | -          | -         | 1.716 |
| gate_proj.V      | 0.000        | -          | -         | 1.129 |
| up_proj.U        | 0.000        | -          | -         | 0.448 |
| gate_proj.U      | 0.000        | -          | -         | 0.037 |
| down_proj.V      | 0.000        | -          | -         | 5.722 |
| down_proj.U      | 0.000        | -          | -         | 0.497 |
+------------------+--------------+------------+-----------+-------+


Quantizing 16bit 28/32..
+------------------+--------------+------------+-----------+-------+
|       name       | weight_error | fp_inp_SNR | q_inp_SNR | time  |
+==================+==============+============+===========+=======+
| k_proj.V         | 0.000        | -          | -         | 1.734 |
| v_proj.V         | 0.000        | -          | -         | 1.130 |
| q_proj.V         | 0.000        | -          | -         | 1.128 |
| k_proj.U         | 0.000        | -          | -         | 0.411 |
| v_proj.U         | 0.000        | -          | -         | 0.036 |
| q_proj.U         | 0.000        | -          | -         | 0.036 |
| o_proj.V         | 0.000        | -          | -         | 1.701 |
| o_proj.U         | 0.000        | -          | -         | 0.493 |
| up_proj.V        | 0.000        | -          | -         | 1.715 |
| gate_proj.V      | 0.000        | -          | -         | 1.125 |
| up_proj.U        | 0.000        | -          | -         | 0.449 |
| gate_proj.U      | 0.000        | -          | -         | 0.037 |
| down_proj.V      | 0.000        | -          | -         | 5.721 |
| down_proj.U      | 0.000        | -          | -         | 0.497 |
+------------------+--------------+------------+-----------+-------+


Quantizing 16bit 29/32..
+------------------+--------------+------------+-----------+-------+
|       name       | weight_error | fp_inp_SNR | q_inp_SNR | time  |
+==================+==============+============+===========+=======+
| k_proj.V         | 0.000        | -          | -         | 1.733 |
| v_proj.V         | 0.000        | -          | -         | 1.127 |
| q_proj.V         | 0.000        | -          | -         | 1.128 |
| k_proj.U         | 0.000        | -          | -         | 0.411 |
| v_proj.U         | 0.000        | -          | -         | 0.036 |
| q_proj.U         | 0.000        | -          | -         | 0.036 |
| o_proj.V         | 0.000        | -          | -         | 1.700 |
| o_proj.U         | 0.000        | -          | -         | 0.493 |
| up_proj.V        | 0.000        | -          | -         | 1.713 |
| gate_proj.V      | 0.000        | -          | -         | 1.127 |
| up_proj.U        | 0.000        | -          | -         | 0.449 |
| gate_proj.U      | 0.000        | -          | -         | 0.037 |
| down_proj.V      | 0.000        | -          | -         | 5.704 |
| down_proj.U      | 0.000        | -          | -         | 0.497 |
+------------------+--------------+------------+-----------+-------+


Quantizing 16bit 30/32..
+------------------+--------------+------------+-----------+-------+
|       name       | weight_error | fp_inp_SNR | q_inp_SNR | time  |
+==================+==============+============+===========+=======+
| k_proj.V         | 0.000        | -          | -         | 1.734 |
| v_proj.V         | 0.000        | -          | -         | 1.127 |
| q_proj.V         | 0.000        | -          | -         | 1.128 |
| k_proj.U         | 0.000        | -          | -         | 0.411 |
| v_proj.U         | 0.000        | -          | -         | 0.036 |
| q_proj.U         | 0.000        | -          | -         | 0.036 |
| o_proj.V         | 0.000        | -          | -         | 1.696 |
| o_proj.U         | 0.000        | -          | -         | 0.493 |
| up_proj.V        | 0.000        | -          | -         | 1.716 |
| gate_proj.V      | 0.000        | -          | -         | 1.128 |
| up_proj.U        | 0.000        | -          | -         | 0.448 |
| gate_proj.U      | 0.000        | -          | -         | 0.037 |
| down_proj.V      | 0.000        | -          | -         | 5.720 |
| down_proj.U      | 0.000        | -          | -         | 0.497 |
+------------------+--------------+------------+-----------+-------+


Quantizing 16bit 31/32..
+------------------+--------------+------------+-----------+-------+
|       name       | weight_error | fp_inp_SNR | q_inp_SNR | time  |
+==================+==============+============+===========+=======+
| k_proj.V         | 0.000        | -          | -         | 1.736 |
| v_proj.V         | 0.000        | -          | -         | 1.130 |
| q_proj.V         | 0.000        | -          | -         | 1.129 |
| k_proj.U         | 0.000        | -          | -         | 0.411 |
| v_proj.U         | 0.000        | -          | -         | 0.036 |
| q_proj.U         | 0.000        | -          | -         | 0.036 |
| o_proj.V         | 0.000        | -          | -         | 1.700 |
| o_proj.U         | 0.000        | -          | -         | 0.492 |
| up_proj.V        | 0.000        | -          | -         | 1.715 |
| gate_proj.V      | 0.000        | -          | -         | 1.126 |
| up_proj.U        | 0.000        | -          | -         | 0.448 |
| gate_proj.U      | 0.000        | -          | -         | 0.037 |
| down_proj.V      | 0.000        | -          | -         | 5.719 |
| down_proj.U      | 0.000        | -          | -         | 0.498 |
+------------------+--------------+------------+-----------+-------+


Quantizing 16bit 32/32..
+------------------+--------------+------------+-----------+-------+
|       name       | weight_error | fp_inp_SNR | q_inp_SNR | time  |
+==================+==============+============+===========+=======+
| k_proj.V         | 0.000        | -          | -         | 1.733 |
| v_proj.V         | 0.000        | -          | -         | 1.124 |
| q_proj.V         | 0.000        | -          | -         | 1.127 |
| k_proj.U         | 0.000        | -          | -         | 0.411 |
| v_proj.U         | 0.000        | -          | -         | 0.036 |
| q_proj.U         | 0.000        | -          | -         | 0.036 |
| o_proj.V         | 0.000        | -          | -         | 1.695 |
| o_proj.U         | 0.000        | -          | -         | 0.493 |
| up_proj.V        | 0.000        | -          | -         | 1.717 |
| gate_proj.V      | 0.000        | -          | -         | 1.124 |
| up_proj.U        | 0.000        | -          | -         | 0.448 |
| gate_proj.U      | 0.000        | -          | -         | 0.037 |
| down_proj.V      | 0.000        | -          | -         | 5.716 |
| down_proj.U      | 0.000        | -          | -         | 0.498 |
+------------------+--------------+------------+-----------+-------+


2564.3790216445923
